‘মাকতাবা মক্কা আল-মুকাররমা’ নামে পরিচিত এই ভবনটি রাসুলুল্লাহ (সা.)-এর জন্মস্থানে নির্মিত বলে বিশ্বাস করা হয়। ঐতিহাসিকদের মতে, জায়গাটি শিআবে আবু তালিবে প্রবেশের মুখে অবস্থিত। যেখানে একসময় বনু হাশিম ও বনু আবদুল মুত্তালিব বসবাস করতেন। মক্কার প্রাচীন ম্যাপগুলো থেকেও ধারণা করা যায়, এখানে নবী (সা.)-এর দাদা আবদুল মুত্তালিবের বাড়ি ছিল।

যেখানে নবীজি (সা.)-এর পিতা আবদুল্লাহও বসবাস করতেন। উসমানীয় শাসকরা নবীজি (সা.)-এর জন্মস্থানে একটি মসজিদ নির্মাণ করেছিলেন। কিন্তু আলে সাউদ সৌদি আরবের শাসনক্ষমতা লাভের পর তা ভেঙে দেন এবং তাঁদের পৃষ্ঠপোষকতায় মসজিদুল হারামের পরিচালক আব্বাস ইউসুফ কাত্তান ১৯২৮ সালে এখানে পাঠাগার প্রতিষ্ঠা করেন।

প্রতিষ্ঠার পর পাঠাগার ভবনটি ১৯৫৩ ও ১৯৬৭ সালে দুইবার সংস্কার ও সম্প্রসারণ করা হয়। পাঠাগারটি মসজিদুলে হারামের অধীনেই পরিচালিত হয়।